前文
在上一篇文章中有提到長短期記憶網路(LSTM)是一種時間循環神經網路(RNN),所以今天的文章將要介紹RNN。
概論
RNN是一種功能強大且穩健的神經網絡,因為它是唯一具有內部存儲器的算法,由於它們的內部記憶,RNN可以記住有關它們收到的輸入的重要訊息,這使它們能夠非常精確地預測接下來會發生什麼。
RNN
RNN和前饋神經網絡的名稱來源於它們傳遞訊息的方式。在前饋神經網絡中,訊息僅沿一個方向移動——從輸入層,通過隱藏層,到輸出層。訊息直接通過網絡移動,並且不會兩次觸及節點。前饋神經網絡對它們接收的輸入沒有記憶,並且不善於預測接下來會發生什麼。因為前饋網絡只考慮當前輸入,它沒有時間順序的概念。除了訓練之外,它根本不記得過去發生的任何事情。在RNN中,訊息通過一個循環循環。當它做出決定時,它會考慮當前的輸入以及它從之前收到的輸入中學到的東西。而通常的RNN具有短期記憶,如果結合上篇所學的LSTM,它們還具有長期記憶。
圖片來源
https://www.keywordseo.com.tw/blog/recurrent-neural-networks-and-istm/
資料來源
https://www.keywordseo.com.tw/blog/recurrent-neural-networks-and-istm/